Acoplamiento de Subespacios para Compresión de LLM: Límites Empíricos
La optimización conjunta de capas en compresión de LLMs fracasa. El flujo residual desacopla las capas, haciendo clave la reconstrucción por capas.
#desacoplamiento de capas
La optimización conjunta de capas en compresión de LLMs fracasa. El flujo residual desacopla las capas, haciendo clave la reconstrucción por capas.